Cuối năm 1948, do yêu cầu cấp thiết về nhiệm vụ chính trị, công tác xây dựng và quy mô tổ chức Đảng, ngày 16/10/1948 Ban Thường vụ Trung ương Đảng do Tổng Bí thư Trường Chinh ký và ban hành quyết nghị số 29/QN/TW thành lập Ban Kiểm tra Trung ương Đảng. Ban Kiểm tra Trung ương gồm Trần Đăng Ninh, Nguyễn Thanh Bình, Hà Xuân Mỹ trong đó Trần Đăng Ninh là Trưởng ban.

Năm 1951, Đại hội Đại biểu toàn quốc lần thứ II của Đảng thông qua Điều lệ mới trong đó quy định:"Ban Chấp hành Trung ương, các xứ ủy, khu ủy (hoặc liên khu ủy), thành ủy, tỉnh ủy phải cử ra một số ủy viên lập thành ban kiểm tra của cấp mình"[1]. Ban Kiểm tra Trung ương được kiện toàn do Hồ Tùng Mậu là Trưởng ban kiêm nhiệm Ban Thanh tra Chính phủ và kiểm tra cả quân đội. Đến tháng 4/1957, tách riêng Ban Kiểm tra Trung ương và Ban Thanh tra Chính phủ.

Tại Đại hội Đại biểu toàn quốc lần thứ III của Đảng năm 1960, Ban Kiểm tra Trung ương được đổi thành Ủy ban Kiểm tra Trung ương. Tới Đại hội Đại biểu toàn quốc lần thứ V của Đảng (1982), đổi tên chức danh người đứng đầu thành Chủ nhiệm.